Measures of interrater agreement when each target is evaluated by a different group of raters
نویسندگان
چکیده
Most measures of interrater agreement are defined for ratings regarding a group targets, each rated by the same raters (e.g., who assess on rating scale language proficiency corpus argumentative written texts). However, there situations in which between regards targets where target is evaluated different raters, like instance when teachers school questionnaire administered to all pupils (students) classroom. In these situations, first approach evaluate level whole ANOVA one-way random model. A second apply subject-specific indices rWG, represents observed variance compared theoretical distribution representing no (i.e., null distribution). Both approaches not appropriate ordinal or nominal scales. this paper, an index proposed single (subject object) scale, and obtain also global measure cases evaluated. The affected possible concentration very small number levels it happens based approach, does depend definition distributions rWG. main features proposal will be illustrated study assessment learning teacher behavior classroom collected research conducted 2018 at Roma Tre University.
منابع مشابه
Beyond kappa: A review of interrater agreement measures
In 1960, Cohen introduced the kappa coefficient to measure chance-corrected nominal scale agreement between two raters. Since then, numerous extensions and generalizations of this interrater agreement measure have been proposed in the literature. This paper reviews and critiques various approaches to the study of interrater agreement, for which the relevant data comprise either nominal or ordin...
متن کاملthe impact of training on second language writing assessment: a case of raters’ biasedness
چکیده هدف اول این تحقیق بررسی تأثیر آموزش مصحح بر آموزش گیرندگان براساس پایایی نمره های آنها در پنج بخش شامل محتوا ، سازمان ، لغت ، زبان و مکانیک بود. هدف دوم این بود که بدانیم آیا تفاوتهای بین آموزشی گیرندگان زن و مرد در پایایی نمرات آنها وجود دارد. برای بررسی این موارد ، ما 90 دانشجو در سطح میانه (متوسط) که از طریق تست تعیین سطح شده بودند انتخاب شدند. بعد از آنها خواستیم که درباره دو موضوع ا...
15 صفحه اولa genre analytic study of research papers written by bilingual writers and their beliefs: a case of persian-english writers
تحقیق حاضر گزارشی است از تحلیل بخش مقدمه دو دسته از مقالات که عبارتند از: 11 مقاله از دو نویسنده دوزبانه فارسی زبان, که شامل مقدمه 4 مقاله به زبان انگلیسی و چاپ شده در مجلات بین المللی, مقدمه 3 مقاله به زبان انگلیسی و 4 مقاله به زبان فارسی چاپ شده در مجلات داخلی می شود؛ و 12 مقاله از محققان خارجی که در مجله applied linguistics به چاپ رسیده است. مبنای تئوری این تحلیل ها نظریه سوئلز (1990) یا هما...
15 صفحه اولtranslating allusive devices:a survey of a portrait of the artist as a young man by james joyce
تلمیح یکی از عناصری است که تقریباً در همه ی متون ادبی یافت و باعث ایجاد شکاف های فرهنگی می شود. در این تحقیق به عنوان شکلی از بینامتنیت در ترجمه مورد توجه قرار می گیرد. تلاش شده است تا راهکارهای مترجمان برای ترجمه چهار نوع اسامی خاص و عبارات کلیدی تلمیحی (مذهبی، سیاسی، تاریخی و اسطوره ای) موجود در رمانِ چهره مرد هنرمند در جوانی به فارسی بررسی شود. این تحقیق مقایسه ای بر اساس راهکارهای ترجمه تلمیح...
15 صفحه اولذخیره در منابع من
با ذخیره ی این منبع در منابع من، دسترسی به آن را برای استفاده های بعدی آسان تر کنید
ژورنال
عنوان ژورنال: Proceedings e report
سال: 2023
ISSN: ['2704-5846', '2704-601X']
DOI: https://doi.org/10.36253/979-12-215-0106-3.28